مسلک درویشی و فروتنی او که شیوهٔ عارفان است سبب شد تا وی گوشهگیر شده، گمنام زیسته و تفصیلی از زندگانی خود باقی نگذارد. بنای آرامگاه بابا طاهر در شمال همدان، در میدانی به نام وی قرار دارد که در سال ۱۳۴۴ ساخته شده و در سال ۱۳۸۳ بازسازی شده است. در جریان باز سازی لوح کاشی فیروزهای رنگی به دست آمد که دارای کتیبهای به خط کوفی برجسته و آیانی از قرآن است. احداث بنای فعل در سال ۱۳۴۴ و به دست مهندس محسن فروغی انجام شده و به ثبت ملی رسیده است.